概率论与数理统计 Probability and Statistics

南方科技大学 计算机科学与工程系 11812804 董正


概率论与数理统计 Probability and Statistics前言 Preface第一章 概率1.2 样本空间1.2.1 试验1.2.2 样本空间 1.2.3 几种特殊事件1.2.4 事件之间的关系及运算1.2.4.1 事件之间的关系1.2.4.2 运算律1.3 概率测度1.3.1 频率1.3.2 概率1.4 概率计算1.4.1 古典概型1.4.2 几何概型1.4.3 习题1.5 条件概率1.6 独立性第二章 随机变量2.1 离散随机变量2.1.1 概率质量函数 PMF2.1.2 累积分布函数 CDF2.1.3 离散随机变量的分布2.2 连续随机变量2.2.1 概率密度函数 PDF2.2.2 连续随机变量的分布2.3 随机变量的函数2.3.1 离散随机变量函数的频率函数2.3.2 连续型随机变量函数的分布2.4 第二章习题第三章 联合分布3.1 联合累积分布函数3.2 二维离散型随机变量3.2.1 联合频率函数3.2.2 边际分布3.3 二维连续型随机变量3.3.1 联合概率密度函数3.3.2 二维连续变量的边际密度函数3.3.3 二维正态分布3.4 独立随机变量3.5 条件分布3.5.1 条件频率函数3.5.2 条件概率密度3.5.3 例题3.6 联合分布随机变量函数3.6.1 连续型 3.6.2 离散型 3.6.3 的分布3.6.4 两个随机变量变换的分布3.6.5 随机变量的其他函数3.7 极值和顺序统计量3.7.1 极值 的分布3.7.2 顺序统计量 的分布3.8 第三章习题第四章 随机变量的数字特征4.1 随机变量的期望4.1.1 离散型随机变量的期望4.1.2 连续型随机变量的期望4.1.3 随机变量函数的期望4.1.4 数学期望的基本性质4.2 方差与标准差4.3 协方差与相关系数4.3.1 协方差4.3.2 相关系数4.3.3 矩4.3.4 协方差矩阵4.4 条件期望4.5 第四章习题第五章 大数定律和中心极限定理5.1 大数定律5.1.1 背景5.1.2 大数定律5.2 中心极限定理5.2.1 背景5.2.2 中心极限定理5.3 第五章习题第六章 数理统计的基本概念与抽样分布6.2 数理统计的基本概念


前言 Preface

本笔记是把我曾经手写的笔记敲成电子版


第一章 概率

1.2 样本空间

1.2.1 试验

1.2.2 样本空间 Ω

1.2.3 几种特殊事件

  1. 基本事件

    一个样本点构成的单点集 {ω}

  2. 必然事件

    每次试验都发生的事件

  3. 不可能事件

    Ω

  4. 事件域

    A={A|AΩ,A}

1.2.4 事件之间的关系及运算

1.2.4.1 事件之间的关系
  1. ABA 包含于 B

    A 发生必然导致 B 发生

    A=BABBA

  2. AB={ω|ωAωB}

    A 发生或 B 发生,称为 AB 的和事件

  3. AB={ω|ωAωB}

    AB 同时发生,称为 AB 的积事件,可记作 AB

    i=1nAi={ω|ωAi,i=1,2,,n} (n 可以是 )

  4. AB={ω|ωAωB}

    A 发生 B 不发生,称为 A,B 的差

    AB, 则称 AB 为真差

    AB 也记作 AB (存疑)

  5. AB=,则称 A,B 互斥(互不相容)

    A,B 不可同时发生

  6. AB=ΩAB=,则称 A,B 互为对立事件(逆事件)

    A=ΩB=B=Bc

1.2.4.2 运算律
  1. 交换律

    AB=BA

    AB=BA

  2. 结合律

    (AB)C=A(BC)

    (AB)C=A(BC)

  3. 分配律

    A(BC)=(AB)(AC)

    A(BC)=(AB)(AC)

    A(BC)=ABAC=ABC

  4. 摩根律

    AB=AB

    AB=AB

    P(AB)=1P(AB)=1P(AB)


1.3 概率测度

1.3.1 频率

1.3.2 概率

  1. AB

    • P(BA)=P(B)P(A)

      • P(B)P(A)

     

证明:

AB

B=A(BA)

互斥事件,根据有限可加性,P(B)=P(A)+P(BA)

P(BA)=P(B)P(A),P(B)P(A)

  1. 0P(A)1

  2. P(A)=1P(A)

  3. P(A)P(AB)

  4. 加法定律 (很重要)

    P(AB)=P(A)+P(B)P(AB)

  5. 挖补原理

    P(A1A2An)=i=1nP(Ai)1ijnP(AiAj)+1ijknP(AiAjAk)+(1)n1P(A1A2An)

    规律:加奇减偶

例:已知空气中 PM 2.5 含量一般在 0120 μg/m3, SO2 含量一般在 00.304 ppm 之间,PM 2.5 含量在 100.5 μg/m3 或 SO2 含量在 0.205 ppm 以上,则认为空气有害。求空气有害的概率

几何概型

P(A)+P(B)P(AB)


1.4 概率计算

1.4.1 古典概型

  1. 古典概型的概念

    • 特征

      • Ω 只有有限个样本点,即 Ω={ω1,ω2,,ωn}
      • 每个样本点出现的可能性相等,即 P{ω1}=P{ω2}==P{ωn}=1n
      • 又称为等可能概型
    • 概率计算

      A={ωi1,ωi2,,ωik}

      P(A)=P{ωi1}+P{ωi2}++P{ωik}=kn

      P(A)=A

  2. 排列组合

    • 选排列

      Ank=n!(nk)!=n(n1)(nk+1)

    • 全排列

      Ann=n!

    • 组合

      Cnk=(nk)=AnkAkk=n!k!(nk)!=n(n1)(nk+1)k!

  3. 加法原理

    做一件事有 n 类方法,第 1 类有 m1 种方法,第 2 类有 m2 种方法...第 n 类有 mn 种方法

    则方法总数 N=i=1nmi

  4. 乘法原理

    做一件事有 n 个步骤,第 1 步有 m1 种方法,第 2 步有 m2 种方法...第 n 步有 mn 种方法

    则方法总数 N=i=1nmi

    • 推广

      n 个对象分成 r 类,第 i 类有 ni 个对象,i=1,2,,ri=1rni=n,那么分类方式有

      (nn1n2nr)=n!n1!n2!nr!=Cnn1Cnn1n2Cnn1n2n3Cnn1n2nr1nr

1.4.2 几何概型

则称上述试验为几何概型

1.4.3 习题

  1. 证明 P(AB)+P(AC)P(BC)P(A)

    证明:

    P(A)P(A(BC)),P(BC)P(ABC)

    P(A)+P(BC)P(A(BC))+P(ABC)

    由加法定律,P(A(BC))=P(ABAC)=P(AB)+P(AC)P(ABC)

    P(A)+P(BC)P(AB)+P(AC)P(ABC)+P(ABC)=P(AB)+P(AC)

    P(A)P(AB)+P(AC)P(BC)

  2. 证明 P(AB)+P(AC)+P(BC)P(A)+P(B)+P(C)1

    证明:

    即证 P(A)+P(B)+P(C)P(AB)P(AC)P(BC)1

    P(ABC)=P(A)+P(B)+P(C)P(AB)P(AC)P(BC)+P(ABC)

    即证 P(ABC)P(ABC)1

     

    P(ABC)1,P(ABC)1

    P(ABC)P(ABC)1

    原式得证

  3. n0n1 随机排列,求没有两个 1 连着的概率

    可以看成有 2n 个位置,只需要考虑 1 放在哪里,剩下的自然是 0

    C2nn 种放法

    接下来,用 0 把 1 隔开,需要 n1 个 0,还剩一个,考虑把它插到哪里

    1 0 1 0 1 0 ...

    这两个位置效果一样,都是 1001,所以我们就假设这个 0 只插到 1 的右边,这样有 n 种插法。还有一种是插在开头,所以一共 n+1

    P=n+1C2nn

  4. 袋子中有 n1 个黑球和 1 个白球,每次从口袋中随机摸出一个球,并放入一个黑球,求第 k 次摸球时摸到黑球的概率

    Ak={k},则 Ak={k}

    考虑 Ak 的情况:

    因为袋子中只有 1 个白球,所以前 k1 次摸到的都是黑球

    P(Ak)=(n1n)k11n=1n(11n)k1

    P(Ak)=1P(Ak)=11n(11n)k1

  5. n 颗骰子,求出现点数最大为 5 的概率

    A={5},B={5},C={4}

    CBA=BC

    P(A)=P(B)P(C)=(56)n(46)n=5n4n6n

  6. n 个人围一圆桌坐,求甲、乙两人相邻的概率

    假设甲先坐好,则乙只有两个位置可坐

    P=2n1


1.5 条件概率


1.6 独立性


第二章 随机变量

2.1 离散随机变量

2.1.1 概率质量函数 PMF

2.1.2 累积分布函数 CDF

2.1.3 离散随机变量的分布

  1. 单点分布(退化分布)

    随机变量 X 的 CDF 为 P{X=c}=1,称 X 服从单点分布

    记作 X=c(a.e.)X=a.e.c

  2. (0-1) 两点分布(伯努利分布)

    若随机变量 X 的频率函数 P{X=1}=p,P{x=0}=1p,则称 X 服从 (0-1) 两点分布

  3. 二项分布

    • 伯努利试验

      只产生两个结果 A,A 的试验

      n 重伯努利试验:将伯努利试验独立重复 n 次的试验

    • 公式

      X=n 重伯努利试验中 A 发生的次数

      P{X=k}=Cnkpk(1p)nk=b(k;n,p)

      X 服从参数为 (n,p) 的二项分布,Xb(n,p)

    • 最大值(中心项)

      m=(n+1)p 为正整数时,b(m;n,p)=b(m1;n,p) 为最大值

      m 是最可能出现的次数,不是正整数就取整

    • n=1 时退化为 (0-1) 两点分布

    • E(X)=np

      D(X)=np(1p)

  4. 几何分布

    X=k,前 k 次全部失败,直到第 k 次才成功

    P{X=k}=p(1p)k1

    记作 XGe(P)

    • 无记忆性

      P{X>m+n|X>m}=P{x>n}

  5. 负二项分布

    进行试验直到 r 次成功,用了 k

    P{X=k}=pCk1r1pr1(1p)kr=Ck1r1pr(1p)kr

    记作 XNb(r,p)

    • r=1 时退化为几何分布
  6. 超几何分布

    盒中有 n 个球,r 个黑球,nr 个白球,从盒中无重复抽取 m 个球,设 X 为抽到黑球的次数

    P{X=k}=CrkCnrmkCnm,k=0,1,2,,m

    先从 r 个黑球中选 k 个,再从 nr 个白球中选 mk

  7. 泊松分布

    • 泊松流

      随时间推移,在时间轴上源源不断出现的随机粒子流

      例:某商店某天的顾客

    • 泊松分布

      X 为区间 (0,t] 中出现的粒子数

      P{X=k}=λkk!eλ,k=0,1,2,

      λ>0 为参数

      记作 Xπ(λ)XP.(λ)

      常用 k=0 (一个顾客都没有): P{X=0}=eλ

    • 性质

      P{X=k}>0

      k=0P{X=k}=k=0λkk!eλ=eλeλ=1

    • 泊松分布与泊松流的关系

      Xπ(λt)

      P{X=k}=(λt)kk!eλt

      λ 称为泊松强度

    • 泊松定理

      λ>0 为常数,n 为正整数,limnnpn=λ,则 k=0,1,2,

      limnCnkpnk(1pn)nk=λkk!eλ

      n 很大 p 很小时,根据泊松定理

      Cnkpnk(1pn)nkλkk!eλ
  8. 多项分布:二项分布的推广

    进行 n 次独立试验,每次试验有 r 种可能的结果,概率为 p1,p2,,pr

    Nin 次试验出现第 i 种结果的总次数,i=1,2,,r,则 N1,N2,,Nr 的联合频率函数

    p(n1,n2,,nr)=n!n1!n2!nr!p1n1p2n2prnr
    • 例:抛硬币 10 次,每次有 38 概率正面,38 概率反面,14 概率立起来,求出现 4 次正面 3 次反面的概率

      解:

      n1 次正面,n2 次反面,n3 次立起来

      n1+n2+n3=10

      P(n1,n2,n3)=10!n1!n2!n3!(38)n1(38)n2(14)n3

      P(4,3,3)=10!4!3!3!(38)4(38)3(14)3

  9. 多维超几何分布

    口袋中有 N​ 只球,分为 r 类。第 i 种球有 Ni 只,N1+N2++Nr=N

    从中任取 n 只,记 Xi 为取出的 n 只球中第 i 种的个数,则 (X1,X2,,Xr) 的分布为

    P(X1=n1,X2=n2,,Xr=nr)=CN1n1CN2n2CNrnrCNn

2.2 连续随机变量

2.2.1 概率密度函数 PDF

2.2.2 连续随机变量的分布

  1. 均匀分布

    若 r.v. X 的密度函数为

    f(x)={1baa<x<b0

    则称 X 服从区间 (a,b) 上的均匀分布,记作 XU(a,b)

    • (c,c+L)(a,b),P{c<X<c+L}=cc+L1badx=Lba

      只和区间长度有关,和位置无关

  2. 指数分布

    X 的密度函数为

    f(x)={λeλxx>00x0

    则称 X 服从参数 λ>0 的指数分布,记作 XEXP(λ)

    λ: 失效率,1λ: 平均寿命

    • 分布函数

      F(x)=xf(t)dt={1eλxx>00x0
    • 无记忆性

      P{X>s+t|X>s}=P{X>t}

    • E(X)=1λ

      D(X)=1λ2

  3. 伽马分布

    X 的密度函数为

    f(x)={λrΓ(r)xr1eλxx>00x0

    其中 r>0,λ>0 为常数,则称 X 服从参数为 (r,λ)Γ 分布,记作 XΓ(r,λ)

    Γ(r)=0xr1exdx,r>0
    • Γ(1)=1

      Γ(12)=π

      Γ(n)=(n1)!

    • r: 形状参数

      λ: 尺度参数

    • Γ(1,λ)=EXP(λ)

  4. 正态分布

    • 定义

      X 的密度函数为

      f(x)=12πσe(xμ)22σ2,xR,σ>0

      则称 X 服从参数为 (μ,σ2) 的正态分布,记作 XN(μ,σ2)

    • 性质

      1. f(x) 关于 x=μ 对称
      2. f(x)μ 处取极大值 f(μ)=12πσ,左增右减
      3. f(x)x 轴为渐近线
    • 图像

      μ: 位置参数,μ 增大,图像右移

      σ: 刻度参数,σ 增大,图像变尖(高瘦)

    • 标准正态分布

      μ=0,σ2=1

      φ(x)=12πex22

      分布函数:

      Φ(x)=x12πet22dt
      • Φ(0)=12

      • 对称性:Φ(x)=1Φ(x)

      • 计算

        • x0:查表
        • x<0Φ(x)=1Φ(x)
    • 一般正态分布与标准正态分布的转换

      XN(μ,σ2),设 Z=xμσ,则 ZN(0,1)

      P{Xa}=P{Xμaμ}=P{xμσaμσ}=P{Zaμσ}=Φ(aμσ)

    • 3σ 原则

      P{μσ<X<μ+σ}=0.6826

      P{μ2σ<X<μ+2σ}=0.9544

      P{μ3σ<X<μ+3σ}=0.9974

  5. 贝塔分布

    f(u)=Γ(a+b)Γ(a)Γ(b)ua1(1u)b1,0u1

    a=b=1 时为均匀分布

    p(x)=1B(a,b)xa1(1x)b1,0<x<1

    记作 XBe(a,b),a>0,b>0

    B(a,b)=01xa1(1x)b1dx 为贝塔函数

    • B(a,b)=B(b,a)
    • B(a,b)=Γ(a)Γ(b)Γ(a+b)
    • Be(1,1)=U(0,1)

2.3 随机变量的函数

2.3.1 离散随机变量函数的频率函数

  1. 离散型+离散型

    设 r.v. X 的频率函数为

    XX1X2Xn
    pkp1p2pn

    Y=g(X) 的频率函数为

    Xg(X1)g(X2)g(Xn)
    pkp1p2pn

    相同合并

    • 例:X 的频率函数为

      X1012
      p0.20.30.10.4

      Y=(X1)2 的频率函数

      解:

      Y4​​101​​
      p0.20.30.10.4

      合并后:

      Y4​​10
      p0.2​​0.70.1
  2. 连续型+离散型

    例:设 r.v. XU(0,1),定义

    Y={00<X0.2510.25<X0.7520.75<X1

    Y 的频率函数

    解:

    P{Y=0}=P(0<X0.25)=00.25110dx=0.25

    P{Y=1}=P(0.25<X0.75)=0.250.75110dx=0.5

    P{Y=2}=P(0.75<X1)=0.751110dx=0.25

    因此 Y 的频率函数为

    Y012
    p0.250.50.25

2.3.2 连续型随机变量函数的分布


2.4 第二章习题

  1. Xp(x)​ 且 p(x)=p(x)F(x)X 的分布函数,则对任意实数 a>0,求 F(a)

    解:

    根据偶函数的性质,阴影部分面积相等

    F(a)=1F(a)

    F(0)=1F(0)F(0)=12

    F(a)=120ap(x)dx

  2. X 的分布函数

    F(x)={0x<0120x11exx1

    P(X=1)

    解:

    P(X=1)=P(X1)P(X<1)=F(1)F(10)​​

    =F(1)limΔx0F(1Δx)=11e12=121e

  3. 经验表明:预订餐厅座位而不来就餐的顾客的比例为 20%。现在餐厅有 50 个座位,但预订给了 52 个人,求顾客到来时餐厅没有空位的概率

    解:

    X 为 52 位顾客中不来的人数

    由题意,顾客鸽了的概率 p=0.2

    Xb(52,0.2)

    餐厅中没有空位 最多俩人鸽了

    P(X2)=P(X=0)+P(X=1)+P(X=2)=0.852+C5210.8510.21+C5220.8500.22

  4. X​ 的概率密度函数 f(x) 满足 f(1+x)=f(1x)02f(x)dx=0.6,求 P(X<0)

    解:

    1. 作图

      P(X<0)=10.62=0.2

    2. 计算

      1=f(x)dx=0f(x)dx+02f(x)dx+2f(x)dx

      x=1+t

      原式 =0f(x)dx+0.6+1f(1+t)dt

      =0f(x)dx+0.6+1f(1t)dt

      u=1t

      原式 =0f(x)dx+0.6+0f(u)d(u)

      =20f(x)dx+0.6

      0f(x)dx=0.2P(X<0)=0.2

  5. YEXP(1)​​​,a>0​​ 为常数,求 P(Ya+1|Y>a)

    解:无记忆性

    P(Ya+1|Y>a)=1P(Y>a+1|Y>a)=1P(Y>1)=P(Y1)=F(1)=1e1

  6. XN(10,4),求 P(10<X<13),P(|X10|<2)

    解:

    P(10<X<13)=P(10102<X102<13102)=Φ(1.5)Φ(0)=0.99320.5=0.4932

    P(|X10|<2)=P(8<X<12)=P(8102<X102<12102)=Φ(1)Φ(1)=2Φ(1)1=0.6826

  7. 已知 XN(3,22)P(X>k)=P(Xk)k

    解:

    P(X>k)=P(Xk)P(X>k)+P(Xk)=1

    P(Xk)=12P(X32k32)=Φ(k32)=12

    k32=0k=3

  8. XN(μ,42),YN(μ,52),记 p1=P(Xμ4),p2=P(Yμ+5)

    A.μ,p1=p2B.μ,p1<p2C.μ,p1=p2D.μ,p1>p2

    解:A

    P(Xμ4)=P(Xμ41)=Φ(1)=1Φ(1)

    P(Yμ+5)=P(Yμ51)=1Φ(1)

    p1=p2

  9. 设随机变量 XN(μ1,σ12),YN(μ2,σ22)P(|Xμ1|<1)>P(|Yμ2|<1)

    则必有 A.σ1<σ2B.σ1>σ2C.μ1<μ2D.μ1>μ2

    解:A

    P(|Xμ1|<1)=P(1<Xμ1<1)=P(1σ1<Xμ1σ1<1σ1)=2Φ(1σ1)1

    同理 P(|Yμ2|)=2Φ(1σ2)1

    Φ(1σ1)>Φ(1σ2)

    Φ(x) 单增

    1σ1>1σ2σ1<σ2

  10. f1(x)​ 为标准正态分布的概率密度,f2(x)​ 为 [1,3]​​ 上均匀分布的概率密度

    f(x)={af1(x)x0bf2(x)x>0a,b>0​ 为概率密度函数,则 a,b 满足

    解:

    f1(x)=12πex22,xR

    f2(x)={141x30

    f(x)dx=10af1(x)dx+03bf2(x)dx=1

    12a+34b=12a+3b=4

  11. XpX(x)=1π(1+x2)​,求 Y=eX​ 的概率密度

    解:

    FY(y)=P(Yy)=P(eXy)=y>0P(Xlny)=FX(lny)=0lny1π(1+x2)dx

    fY(y)=FY(y)={1πy(1+ln2y)y>00y0

  12. XN(0,σ2),求 Y=X2​ 的密度函数

    解:

    Y=X2>0y0​​ 时 fY(y)=0​​​

    y>0​ 时 FY(y)=P(Yy)=P(X2y)=P(yXy)=yy12πσex22σ2dx

    fY(y)=FY(y)=12y12πσey2σ2(12y12πσey2σ2)=12πyσey2σ2,y>0

    fY(y)={12πyσey2σ2y>00y0


第三章 联合分布

3.1 联合累积分布函数


3.2 二维离散型随机变量

3.2.1 联合频率函数

3.2.2 边际分布


3.3 二维连续型随机变量

3.3.1 联合概率密度函数

3.3.2 二维连续变量的边际密度函数

3.3.3 二维正态分布

(X,Y) 的联合密度为

f(x,y)=12πσ1σ21ρ2e12(1ρ2)[(xμ1)2σ122ρ(xμ1)(yμ2)σ1σ2+(yμ2)2σ22]

则称 (X,Y) 服从参数为 (μ1,μ2,σ12,σ22,ρ) 的二维正态分布,记作 (X,Y)N(μ1,μ2,σ12,σ22,ρ)

其中各参数 μ1,μ2R,σ1,σ2>0,|ρ|<1


3.4 独立随机变量


3.5 条件分布

3.5.1 条件频率函数

3.5.2 条件概率密度

3.5.3 例题

  1. 设随机变量 YN(0,1),求 X1={0|Y|11|Y|<1X2={0|Y|21|Y|<2​ 的联合分布列​

    解:

    P(X1=0,X2=0)=P(|Y|2)=P(Y2Y2)=1Φ(2)+1Φ(2)=0.0455

    P(X1=0,X2=1)=P(1|Y|<2)=P(2<Y11Y2)=Φ(1)Φ(2)+Φ(2)Φ(1)=2Φ(2)2Φ(1)=0.2719

    P(X1=1,X2=0)=P(|Y|<1,|Y|2)=0

    P(X1=1,X2=1)=P(|Y|<1)=P(1<Y<1)=Φ(1)Φ(1)=2Φ(1)1=0.6826

    综上,(X1,X2) 的分布列为

    X1X201
    00.04550.2719
    100.6826
  2. (X,Y) 服从区域 D={(x,y)|x2+y21} 上的均匀分布,求 X 的边际密度 fX(x)

    解:

    由题意 F(x,y)={1πx2+y210

    x>1x<1fX(x)=0

    1x1fX(x)=1x21x21πdy=21x2π

    综上,X 的边际密度为

    fX(X)={21x2π1x10

  3. (X,Y) 的密度函数为 f(x,y)={ey0<x<y0,求 P(X+Y1)

    解:

    P(X+Y1)=012x1xeydydx=1+e12e12


3.6 联合分布随机变量函数

3.6.1 连续型 Z=X+Y

  1. 卷积公式

    X,Y 相互独立,则 Z=X+Y 的密度函数为

    fZ(z)=fX(zy)fY(y)dy

    fZ(z)=fX(x)fY(zx)dx

    =fXfY

    • 证明:

      FZ(z)=P(Zz)=P(X+YZ)=x+yzf(x,y)dxdy

      zyf(x,y)dxdy=x=uyzf(uy,y)dudy=z[f(uy,y)dy]du

      fZ(z)=FZ(z)=f(zy,y)dy=f(x,zx)dx

  2. 独立正态随机变量的和

    • XN(μ1,σ12),YN(μ2,σ22)X,Y 独立

      X+YN(μ1+μ2,σ12+σ22),XYN(μ1μ2,σ12+σ22)

    • X1,X2,,Xn 相互独立且 XiN(μi,σi2),i=1,2,n

      则对于不全为 0 的常数 a1,a2,,an

      a1X1+a2X2++anXnN(i=1naiμi,i=1nai2σi2)

3.6.2 离散型 Z=X+Y

  1. 卷积公式(离散)

    X,Y​ 独立,P(X=i)=pi,P(Y=j)=qj (i,j=1,2,)

    Z=X+Y​ 的频率为

    P(Z=k)=i=1k1P(X=i)P(Y=ki)=i=1k1P(X=ki)P(Y=i),k=1,2,

3.6.3 Z=XY 的分布

  1. Z=XY 的计算

    (X,Y)f(x,y),FZ(z)=P(XYz)=xyzf(x,y)dxdy

    FZ(z)=0yzf(x,y)dxdy

    u=xy,y=y,则 |J|=||yu01||=|y| (x=uy)

    FZ(z)=z(f(uy,y)|y|dy)du

    fZ(z)=f(zy,y)|y|dy

    X,Y 独立时 fZ(z)=fX(zy)fY(y)|y|dy

  2. 柯西分布

    f(x;x0,γ)=1πγ[1+(xx0γ)2],xR

3.6.4 两个随机变量变换的分布

  1. X1,X2 独立且服从标准正态分布,且 Y1=X1,Y2=X1+X2

    (Y1,Y2)N(0,0,1,2,12)

    • 推论 1:两个独立标准正态 r.v. 的线性变换服从二元正态分布
    • 推论 2:两个 r.v. 的联合分布是二元正态分布,则它们的非奇异线性变换仍服从二元正态分布

3.6.5 随机变量的其他函数

变量变换法:

已知 (X,Y) 的分布,(U,V)(X,Y) 的函数 U=g1(X,Y),V=g2(X,Y),求 (U,V)​ 的分布:

{u=g1(x,y)v=g2(x,y) 存在反函数 {x=x(u,v)y=y(u,v)

(U,V) 的联合密度为 pUV(u,v)=pXY[x(u,v),y(u,v)]|J|

其中 J=|xuxvyuyv|

解题步骤:

  1. 设变量
  2. X=,Y=
  3. |J|
  4. 代入得 f(u,v)=fX()fY()|J|
  5. 求边际密度得 fU(u)

3.7 极值和顺序统计量

3.7.1 极值 max(X,Y)min(X,Y) 的分布

  1. XFX(x),YFY(y)​ 且 X,Y​ 独立

    Fmax(z)=P(max(X,Y)z)=P(Xz,Yz)=FX(z)FY(z)

    Fmin(z)=P(min(X,Y)z)=1P(min(X,Y)>z)=1P(X>z,Y>z)=1[1FX(z)][1FY(z)]

  2. XiFXi(x),i=1,2,,n​ 且 X1,X2,,Xn​ 相互独立

    Fmax(z)=P(max(X1,X2,,Xn)z)=i=1nFXi(z)

    Fmin(z)=P(min(X1,X2,,Xn)z)=1i=1n[1FXi(z)]

    • X1,X2,,Xn 独立同分布时

      Fmax(z)=[F(z)]n

      Fmin(z)=1[1F(z)]n

      fmax(z)=n[F(z)]n1f(z)

      fmin(z)=n[1F(z)]n1f(z)

  3. X,Y​ 独立且概率密度均为 f(x)

    fmax(z)=Fmax(z)=2f(z)F(z)=2f(z)zf(t)dt

    fmin(z)=Fmin(z)=2f(z)[1F(z)]=2f(z)[1zf(t)dt]

3.7.2 顺序统计量 X(k) 的分布


3.8 第三章习题

  1. 已知 (X,Y)​ 的联合密度为 f(x,y)={exyx>0,y>00,问 X,Y 是否独立

    解:看 f(x,y) 是不是等于 fX(x)fY(y)

    求边际密度:

    fX(x)=f(x,y)dy=0exydy=ex,x>0

    fY(y)=f(x,y)dx=0exydx=ey,y>0

    f(x,y)=fX(x)fY(y)X,Y 独立

  2. (X,Y) 的联合密度为 f(x,y),求证 X,Y 独立的充要条件为 f(x,y) 可分离变量,即 f(x,y)=g(x)h(y)

    证明:

    充分性:X,Y 独立 f(x,y)=fX(x)fY(y)

    必要性:令 a=g(x)dx,b=h(y)dy

    ab=g(x)h(y)dxdy=f(x,y)dxdy=1

    fX(x)=f(x,y)dy=g(x)h(y)dy=bg(x)

    fY(y)=f(x,y)dx=h(y)g(x)dx=ah(y)

    fX(x)fY(y)=abg(x)h(y)=f(x,y)

    X,Y 独立

  3. (X,Y) 服从圆域 G:x2+y21 上的均匀分布,求 fX|Y(x|y)

    解:

    f(x,y)={1πx2+y210

    fY(y)=1y21y21πdx={21y2π1y10

    fX|Y(x|y)={f(x,y)fY(y)={121y21y2x1y20x1y10


第四章 随机变量的数字特征

4.1 随机变量的期望

4.1.1 离散型随机变量的期望

4.1.2 连续型随机变量的期望

4.1.3 随机变量函数的期望

4.1.4 数学期望的基本性质

  1. aXb,则 aE(X)b

  2. c 为常数,则 E(cX)=cE(X)

  3. E(X+Y)=E(X)+E(Y)

    E[g1(X)±g2(X)]=E[g1(X)]±E[g2(X)]

    2, 3 为期望的线性性质,即线性变换的期望等于期望的线性变换

  4. X,Y 独立,则 E(XY)=E(X)E(Y)

    逆命题不成立

    不独立时 E(XY)=Cov(X,Y)+E(X)E(Y)=xyf(x,y)dxdy

 


4.2 方差与标准差


4.3 协方差与相关系数

4.3.1 协方差

4.3.2 相关系数

4.3.3 矩

  1. k 阶原点矩(k 阶矩)

    E(Xk),k=1,2,

  2. k 阶中心矩

    E[(XE(X))k],k=2,3,

  3. k+ 阶混合矩

    E(XkY),k,=1,2,

  4. k+ 阶混合中心矩

    E[(XE(X))k(YE(Y))],k,=1,2,

  5. E(X):一阶矩

    D(X)​:二阶中心矩

    Cov(X,Y):二阶中心混合矩

4.3.4 协方差矩阵


4.4 条件期望


4.5 第四章习题

  1. n 个人,n 份礼物,任意取,X 为拿对自己礼物的人数,求 E(X),D(X)

    解:

    Xi={1i0i

    X=i=1nXi​,则 E(Xi)=11n+0n1n=1n

    E(X)=E(i=1nXi)=i=1nE(Xi)=1

    D(X)=i=1nD(Xi)+2i<jCov(Xi,Xj)

    计算 XiXj 的期望:

    XiXj01
    p11n(n1)1n(n1)

    E(XiXj)=1n(n1)

    Cov(Xi,Xj)=1n(n1)1n1n=1n2(n1)

    D(Xi)=E(Xi2)E2(Xi)=1n1n2=n1n2

    D(X)=nn1n2+2i<j1n2(n1)=n1n+2Cn21n2(n1)=n1n+1n=1

  2. (X,Y) 的分布如下所示,求 (1) P(X=2Y) (2) Cov(XY,Y)

    XY012 
    01401412
    1013013
    2112011216
     131313 

    解:

    (1) P(X=2Y)=P(X=0,Y=0)+P(X=2,Y=1)=14

    (2) 求 X,Y​ 的边际分布和 XY​​ 的分布​

    XY014
    p71213112

    E(X)=23,E(Y)=1,D(Y)=23,E(XY)=23

    Cov(XY,Y)=Cov(X,Y)Cov(Y,Y)=E(XY)E(X)E(Y)D(Y)=23

  3. (X,Y)p(x,y)={18(x+y)0<x<2,0<y<20,求 ρXY

    解:

    E(X)=E(Y)=0202x18(x+y)dxdy=76

    E(X2)=E(Y2)=0202x218(x+y)dxdy=53

    D(X)=D(Y)=534936=1136

    E(XY)=0202xy18(x+y)dxdy=43

    Cov(X,Y)=43(76)2=136

    ρXY=Cov(X,Y)D(X)D(Y)=111

  4. 设二维连续随机变量 (X,Y) 的联合密度函数为 p(x,y)=x+y,0<x,y<1,求 E(X|Y=0.5)

    解:先求 fX|Y(x|y)

    0<y<1fX|Y(x|y)=p(x,y)p(y)=x+y01(x+y)dx=x+y12+y

    fX|Y(x|y=12)={x+120<x<10

    E(X|Y=0.5)=01x(x+12)dx=712

  5. E(Y),E[h(Y)] 存在,证明 E[h(Y)|Y]=h(Y)

    证明:

    E[h(Y)|Y]h(Y) 的函数,记 g(Y)=E[h(Y)|Y]

    yR,h(y) 为实数

    g(y)=E[h(Y)|Y=y]=E[h(y)|Y=y]=h(y)(常量的均值等于自己)

    g(Y)=E[h(Y)|Y]=h(Y)

  6. X1,X2 独立且均服从参数为 1θ 的指数分布,求 Y1=4X13X2,Y2=3X1+X2 的相关系数

    解:先求 Cov(Y1,Y2)

    E(X1)=E(X2)=E,D(X1)=D(X2)=DX1,X2 独立则 Cov(X1,X2)=0

    Cov(Y1,Y2)=Cov(4X13X2,3X1+X2)=12Cov(X1,X1)9Cov(X1,X2)+4Cov(X1,X2)3Cov(X2,X2)

    =12D3D=9D

    ρY1Y2=Cov(Y1,Y2)D(Y1)D(Y2)=9D(16D+9D)(9D+D)=95010

    结果与服从什么分布无关

  7. X 服从标准柯西分布,f(x)=1π11+x2,xR,求 E(X)

    解:

    |x|f(x)dx=2π011+x2d(x2)=1πln(1+x2)|0=

    E(X) 不存在


第五章 大数定律和中心极限定理

5.1 大数定律

5.1.1 背景

  1. 概率的产生

    随机试验 统计数据 统计规律 频率稳定性 概率

  2. 频率稳定性

    n 次独立重复试验中事件 A 发生的次数为 nA,当 n

    ξn=nAnp
  3. 依概率收敛

    ξ1,ξ2,,ξn 为一列随机变量,若 ε>0,有 limnP(|ξnξ|ε)=0,则称随机变量列 {ξn} 依概率收敛于 ξ,记作 ξnPξ

    • limnP(|ξnξ|ε)=0limnP(|ξnξ|<ε)=1

    • 直观含义

      随着 n 的增大,绝对误差 |ξnξ| 较大的可能性越来越小

    • 抛硬币试验的频率稳定性 ξn=nAnP12

5.1.2 大数定律

  1. 伯努利大数定律

    nAn 次重复试验中事件 A 发生的次数,且 P(A)=p,则 ε>0,有

    limnP(|nAnp|ε)=0
    • 频率会依概率收敛于概率
  2. 切比雪夫大数定律

    {Xn} 为相互独立的随机变量列,且具有相同的期望和方差,记 E(Xi)=μ,D(Xi)=σ2,则 ε>0

    limNP(|1ni=1nXiμ|ε)=0
  3. 辛钦大数定律

    {Xn} 是独立同分布的随机变量列,E(Xi)=μ 存在,则 ε>0

    limNP(|1ni=1nXiμ|ε)=0limNP(|1ni=1nXiμ|<ε)=1
  4. 大数定律的一般形式

    {Xn} 满足 limnP(|1ni=1nXi1ni=1nE(Xi)|<ε)=1,则称 {Xn} 服从大数定律

  5. 马尔科夫大数定律

    {Xn} 满足 limn1n2D(i=1nXi)=0{Xn} 服从大数定律


5.2 中心极限定理

5.2.1 背景

现实中很多数量指标都服从或近似服从正态分布

这些指标通常是由大量相互独立的随机因素综合影响而成,即 Z=X1+X2++Xn

中心极限定理研究的内容:n 时,什么情况下 Zn=i=1nXi 的极限分布为正态分布

Zn=k=1nXkk=1nμkk=1nσk2 是否服从标准正态分布

5.2.2 中心极限定理


5.3 第五章习题

  1. {Xn} 是独立同分布的随机变量序列,其共同分布为 P(Xn=2kk2)=12k,k=1,2,,问 {Xn} 是否服从大数定律

    解:

    E(Xn)=k=12kk212k=π26<

    E(Xn) 存在,由辛钦大数定律知 {Xn} 服从大数定律

  2. 每袋味精的净重为随机变量,平均重量为 100g,标准差为 10g,一箱内装有 200 袋味精,求一箱味精的净重大于 20500g 的概率

    解:

    设第 i 袋味精的净重为 Xi,则 Xi 独立同分布且 E(X1)=100,D(Xi)=100

    由独立同分布的中心极限定理,总净重 Z=i=1200Xi 近似服从 N(20000,20000)

    P(Z>20500)=1P(Z20500)=1P(Z20000100220500200001002)=1Φ(3.54)=0.0002

    因此,一箱味精的净重大于 20500g 的概率为 0.0002


第六章 数理统计的基本概念与抽样分布

6.2 数理统计的基本概念